python

2023-08-31 10:41| 来源: 网络整理| 查看: 265

python-ray集群搭建 Ray简介准备工作系统准备软件环境网络环境搭建集群头节点从节点 python测试从节点测试主节点测试

Ray简介

Ray是UC Berkeley RISE Lab新推出的高性能分布式执行框架，它使用了和传统分布式计算系统不一样的架构和对分布式计算的抽象方式，具有比Spark更优异的计算性能。Ray是一个基于Python的分布式执行引擎。相同的代码可以在单个机器上运行以实现高效的多处理，并且可以在群集上用于大量的计算。

Ray学习文档地址： https://ray.readthedocs.io/en/latest/index.html

github地址： https://github.com/ray-project/ray

近期，研究了其在python环境下集群的搭建，在此做个记录。

准备工作系统准备

两台或两台以上ubuntu电脑

软件环境

python 3.7.9 ray 0.8.7

网络环境

两台电脑的ip分别为：头节点：10.201.83.14 从节点：10.201.224.169 在两台电脑上均运行以下命令，以打开所有端口：

sudo iptables -P INPUT ACCEPT sudo iptables -P FORWARD ACCEPT sudo iptables -P OUTPUT ACCEPT sudo iptables -F sudo iptables-save

目前，

【本文地址】

python

python

今日新闻

推荐新闻